HDFS常用命令 |
您所在的位置:网站首页 › hdfs shell命令列出根目录所有的文件和文件夹信息 › HDFS常用命令 |
本文说明 1).[ ]中的选项为可选项,< >中的参数为必选项,参数后跟的…表示操作多个此类型参数 2).本文所列命令在hadoop2.7.3上验证,适合于绝大多数hadoop版本。 3).本文为避免掉书袋,仅列常用命令,对于不常用的命令,如有需要,可通过帮助命令了解。 4).在2.7.3版本中,hdfs的操作命令开头一律为hdfs dfs,hadoop dfs为过时命令。 5).如果dfs.permissions.enabled选项为true,则要切换到hdfs专属用户(默认为hdfs用户)才能正确访问hdfs数据。 1.帮助命令一切命令都从帮助开始,命令是记不完的,只有学会使用帮助,才能免却记忆的痛苦。 hdfs dfs -help 2.查看命令 列出文件系统目录下的目录和文件 # -h 以更友好的方式列出,主要针对文件大小显示成相应单位K、M、G等 # -r 递归列出,类似于linux中的tree命令 hdfs dfs -ls [-h] [-r] 查看文件内容hdfs dfs -cat 查看文件末尾的1KB数据hdfs dfs -tail [-f] 3.创建命令 新建目录hdfs dfs -mkdir 创建多级目录hdfs dfs -mkdir -p 新建一个空文件 # linux下是touchz,不知道为什么在hdfs要加个z? hdfs dfs -touchz 上传本地文件到hdfs # -f 如果hdfs上已经存在要上传的文件,则覆盖 hdfs dfs -put [-f] ...举例:将/usr/local/hadoop-2.7.3/etc/hadoop下的所有配置文件都上传到hdfs的/hadoop目录 hdfs dfs -mkdir /config hdfs dfs -put /usr/local/hadoop-2.7.3/etc/hadoop /config 4.删除命令 删除文件或目录, # -r 递归删除目录下的所有文件 # -f为直接删除,不予提示 # -skipTrash为彻底放入文件,不放入回收站 hdfs dfs -rm [-r] [-f] [-skipTrash] 5.获取命令 将hdfs文件下载到本地hdfs dfs -get < hdfs path> < localpath> 举例:将hdfs的/config目录下载到本地的/config目录下 hdfs dfs -get /config /config 将hdfs文件合并起来下载到本地hdfs hdfs -getmerge [-nl] 举例:将hdfs的/config/hadoop目录下的所有文件合并下载到本地的config.txt中 hdfs dfs -getmerge /config/hadoop config.txt 6.其他hdfs文件操作命令 拷贝:hdfs dfs -cp [-r] 移动:hdfs dfs -mv 统计目录下的对象数:hdfs dfs -count 统计目录下的对象大小:hdfs dfs -du [-s] [-h] 修改hdfs文件权限 修改所属组[-chgrp [-R] GROUP PATH...] 修改权限模式[-chmod [-R] PATH...] 修改所需组和所有者[-chown [-R] [OWNER][:[GROUP]] PATH...] 7.hdfs管理命令 显示帮助hdfs dfsadmin -help 查看文件系统健康状态显示hdfs的容量、数据块和数据节点的信息 hdfs dfsadmin -report 安全模式管理安全模式是hadoop的一种保护机制,用于保证集群中的数据块的安全性。当hdfs进入安全模式时不允许客户端进行任何修改文件的操作,包括上传文件,删除文件,重命名,创建文件夹等操作。 当集群启动的时候,会首先进入安全模式。当系统处于安全模式时会检查数据块的完整性。假设我们设置的副本数(即参数dfs.replication)是5,那么在datanode上就应该有5个副本存在,假设只存在3个副本,那么比例就是3/5=0.6。通过配置dfs.safemode.threshold.pct定义最小的副本率,默认为0.999。 1)查看安全模式状态 hdfs dfsadmin -safemode get 2)强制进入安全模式 hdfs dfsadmin -safemode enter 3)强制离开安全模式 hdfs dfsadmin -safemode leave |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |